本文提出了将语音分离和增强（SSE）集成到ESPNET工具包中的最新进展。与以前的ESPNET-SE工作相比，已经添加了许多功能，包括最近的最新语音增强模型，并具有各自的培训和评估食谱。重要的是，已经设计了一个新界面，以灵活地将语音增强前端与其他任务相结合，包括自动语音识别（ASR），语音翻译（ST）和口语理解（SLU）。为了展示这种集成，我们在精心设计的合成数据集上进行了实验，用于嘈杂的多通道ST和SLU任务，可以用作未来研究的基准语料库。除了这些新任务外，我们还使用Chime-4和WSJ0-2MIX进行基准多链和单渠道SE方法。结果表明，即使在ASR以外的任务，尤其是在多频道方案中，SE前端与后端任务的集成也是一个有希望的研究方向。该代码可在https://github.com/espnet/espnet上在线获得。 HuggingFace上发布了这项工作的另一个贡献的多通道ST和SLU数据集。
translated by 谷歌翻译
变形金刚最近在语音分离中实现了最先进的表现。但是，这些模型是计算需求的，需要大量可学习的参数。本文以降低的计算成本探讨了基于变压器的语音分离。我们的主要贡献是基于自我注意力的架构的资源效率分离变压器（重新启动）的开发，可通过两种方式减轻计算负担。首先，它在潜在空间中使用非重叠的块。其次，它以从每个块计算出的紧凑型潜在摘要运行。重新宣传者在受欢迎的WSJ0-2MIX和WHAM上取得了竞争性能！因果关系中的数据集。值得注意的是，就记忆和推理时间而言，它比以前的基于变压器和基于RNN的体系结构的缩放量明显好，这使其更适合处理长时间的混合物。
translated by 谷歌翻译
在许多启用语音的人机交互情景中，用户语音可以与设备播放音频重叠。在这些实例中，诸如关键字斑点（KW）和设备定向语音检测（DDD）的任务的性能可能显着降低。为了解决这个问题，我们提出了一种隐含的声学回声消除（IAEC）框架，其中训练神经网络以利用参考麦克风信道的附加信息来学习忽略干扰信号并提高检测性能。我们分别研究了这个框架，分别为kWs和ddd的任务，一个增强版的谷歌语音命令v2和一个真实世界的alexa设备数据集。值得注意的是，在设备播放条件期间，我们显示DDD任务的假拒绝率为566 \％。我们还表现出与KWS任务的强大端到端神经回声消除+ KW基准的性能相当或卓越的性能，其数量级计算要求较少。
translated by 谷歌翻译
最近的单声道源分离的工作表明，通过使用短窗户的完全学习过滤器组可以提高性能。另一方面，广泛众所周知，对于传统的波束成形技术，性能随着长分析窗口而增加。这也适用于最依赖于深神经网络（DNN）来估计空间协方差矩阵的大多数混合神经波束形成方法。在这项工作中，我们尝试弥合这两个世界之间的差距，并探索完全端到端的混合神经波束形成，而不是使用短时傅里叶变换，而不是使用DNN共同学习分析和合成滤波器拦截器。详细说明，我们探索了两种不同类型的学习过滤博客：完全学习和分析。我们使用最近的清晰度挑战数据执行详细分析，并显示通过使用学习的默认覆盖机，可以超越基于Oracle掩码的短窗口的波束成形。
translated by 谷歌翻译
In classic reinforcement learning algorithms, agents make decisions at discrete and fixed time intervals. The physical duration between one decision and the next becomes a critical hyperparameter. When this duration is too short, the agent needs to make many decisions to achieve its goal, aggravating the problem's difficulty. But when this duration is too long, the agent becomes incapable of controlling the system. Physical systems, however, do not need a constant control frequency. For learning agents, it is desirable to operate with low frequency when possible and high frequency when necessary. We propose a framework called Continuous-Time Continuous-Options (CTCO), where the agent chooses options as sub-policies of variable durations. Such options are time-continuous and can interact with the system at any desired frequency providing a smooth change of actions. The empirical analysis shows that our algorithm is competitive w.r.t. other time-abstraction techniques, such as classic option learning and action repetition, and practically overcomes the difficult choice of the decision frequency.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
我们提出了X-NERF，这是一种基于神经辐射场公式，从具有不同光谱敏感性的相机捕获的跨光谱场景表示的新颖方法，给出了从具有不同光谱灵敏度的相机捕获的图像。X-NERF在训练过程中优化了整个光谱的相机姿势，并利用归一化的跨设备坐标（NXDC）从任意观点呈现不同模态的图像，这些观点是对齐的，并以相同的分辨率对齐。在16个前面的场景上进行的实验，具有颜色，多光谱和红外图像，证实了X-NERF在建模跨光谱场景表示方面的有效性。
translated by 谷歌翻译
我们的世界越来越被具有不同自治程度的智能机器人所笼罩。为了将自己无缝整合到我们的社会中，即使在没有人类的直接投入的情况下，这些机器也应具有导航日常工作复杂性的能力。换句话说，我们希望这些机器人了解其合作伙伴的意图，以预测帮助他们的最佳方法。在本文中，我们介绍了Casper（社会感知和在机器人中参与的认知体系结构）：一种象征性认知体系结构，使用定性的空间推理来预测另一个代理的追求目标并计算最佳的协作行为。这是通过平行过程的集合来执行的，该过程对低级动作识别和高级目标理解进行建模，这两者都经过正式验证。我们已经在模拟的厨房环境中测试了这种体系结构，我们收集的结果表明，机器人能够认识到一个持续的目标并适当合作实现其成就。这证明了对定性空间关系的新使用，该空间关系应用于人类机器人相互作用领域的意图阅读问题。
translated by 谷歌翻译
培训和评估语言模型越来越多地要求构建元数据 - 多样化的策划数据收集，并具有清晰的出处。自然语言提示最近通过将现有的，有监督的数据集转换为多种新颖的预处理任务，突出了元数据策划的好处，从而改善了零击的概括。尽管将这些以数据为中心的方法转化为生物医学语言建模的通用域文本成功，但由于标记的生物医学数据集在流行的数据中心中的代表性大大不足，因此仍然具有挑战性。为了应对这一挑战，我们介绍了BigBio一个由126个以上的生物医学NLP数据集的社区库，目前涵盖12个任务类别和10多种语言。 BigBio通过对数据集及其元数据进行程序化访问来促进可再现的元数据策划，并与当前的平台兼容，以及时工程和端到端的几个/零射击语言模型评估。我们讨论了我们的任务架构协调，数据审核，贡献指南的过程，并概述了两个说明性用例：生物医学提示和大规模，多任务学习的零射门评估。 BigBio是一项持续的社区努力，可在https://github.com/bigscience-workshop/biomedical上获得。
translated by 谷歌翻译
我们通过求解立体声匹配对应关系来解决注册同步颜色（RGB）和多光谱（MS）图像的问题。目的是，我们引入了一个新颖的RGB-MS数据集，在室内环境中框架13个不同的场景，并提供了34个图像对，并以差距图的形式带有半密度的高分辨率高分辨率地面标签。为了解决这项任务，我们提出了一个深度学习架构，通过利用进一步的RGB摄像机来以自我监督的方式进行培训，这仅在培训数据获取过程中需要。在此设置中，我们可以通过将知识从更轻松的RGB-RGB匹配任务中提炼出基于大约11K未标记的图像三重列表的集合来使知识从更轻松的RGB-RGB匹配任务中提取知识，从而方便地学习跨模式匹配。实验表明，提议的管道为这项小说，具有挑战性的任务进行了未来的研究，为未来的研究设定了良好的性能栏（1.16像素的平均注册错误）。
translated by 谷歌翻译